Ông có vợ là bà Ngô Khôn Duy (1893 – 1980[6]) và hai con gái là Hồ Diệc Lan (1920-1947) và Hồ Mộ La (sinh 1930).[7] Bà Ngô Khôn Duy là con gái của Ngô Quảng, lãnh binh của Phan Đình Phùng.[8]

Bà Hồ Diệc Lan, kết hôn với Thiếu tướng Lê Thiết Hùng, vị tướng đầu tiên của Quân đội Nhân dân Việt Nam, nhưng mất sớm (năm 1947, ở tuổi 27) và chưa có con. Khi bà Hồ Diệc Lan mất, báo Cứu quốc Liên khu IV có đăng lời chia buồn và ông Phạm Văn Đồng cũng gửi lời chia buồn đến bà Hồ Diệc Lan.

Bà Hồ Mộ La sau này là giảng viên trường nhạc Hà Nội.